Gordianus II sinh vào khoảng năm 192 và là đứa con trai duy nhất của Marcus Antonius Gordianus Sempronianus Già. Gia tộc ông xuất thân từ tầng lớp kỵ sĩ vốn khiêm tốn và rất giàu có.[4] Gordianus được cho là có mối quan hệ thân mật với các Nguyên lão nghị viên xuất chúng.[5] Praenomen và nomen của ông Marcus Antonius nói rằng tổ tiên bên nội của ông đã được ban quyền công dân La Mã dưới trướng một trong Tam đầu chế Mark Antony, hoặc một trong các con gái của ông vào cuối thời Cộng hòa La Mã.[5] Cái tên Gordianus còn đưa ra giả thuyết là gia tộc ông có nguồn gốc từ Tiểu Á, đặc biệt là Galatia và Cappadocia.[6]

Theo Historia Augusta thì mẹ cậu là một phụ nữ la Mã gọi là Fabia Orestilla,[2] sinh vào khoảng năm 165, mà cuốn Historia Augusta xác nhận là hậu duệ của Hoàng đế La Mã Antoninus Pius và Marcus Aurelius từ cha mình Fulvus Antoninus.[2] Các nhà sử học hiện nay đã bác bỏ tên này và thông tin của bà là không chính xác.[7] Có một số bằng chứng cho thấy rằng mẹ Gordianus II của có thể là cháu gái của nhà triết học Hy Lạp, quan chấp chính và gia sư Herodes Atticus.[8] Em gái của Gordianus II tên là Antonia Gordiana và sau này là mẹ của Hoàng đế Gordianus III.

Mặc dù trong ký ức của Gordianus từng được sự yêu mến của Viện Nguyên lão và do đó làm nảy nở mối thân tình trong bất kỳ tài liệu của Viện Nguyên lão trong thời kỳ này, tài liệu duy nhất về sự nghiệp lúc đầu của Gordianus còn tồn tại được lưu trong Historia Augusta, dù nó không đưa ra được sự mô tả chính xác hoặc đáng tín cậy về câu chuyện cuộc đời ông trước khi lên ngôi hoàng đế vào năm 238.[9] Theo nguồn tài liệu này cho biết Gordianus từng giữ chức quaestor dưới thời Elagabalus rồi làm praetor và chấp chính quan thời Hoàng đế Alexander Severus.[10][11] Năm 237, Gordianus đã đi đến tỉnh Proconsularis thuộc châu Phi trong vai trò một legatus dưới sự chỉ huy của cha mình như một thống đốc kiêm tỉnh trưởng.[4]